Geoffrey là con trai lớn của Fulk V xứ Anjou và Ermengarde xứ Maine. Geoffrey nhận biệt danh của mình từ cành hoa chổi màu vàng (genêt là tên tiếng Pháp của cây genista, hay cây bụi chổi) mà ông hay đội trong mũ.[1]:9[2]:1[3] Nhà biên niên sử John xứ Marmoutier mô tả Geoffrey là một người đẹp trai, tóc đỏ, vui tính và là một chiến binh vĩ đại.[4] Vua Henry I của Anh, sau khi nghe báo cáo về tài năng và sức mạnh của Geoffrey, đã cử quân đến Anjou để thương lượng về cuộc hôn nhân giữa cô con gái 25 tuổi Matilda và cậu thiếu niên Geoffrey 15 tuổi. Sau sự đồng ý của cả hai bên, vào ngày 10 tháng 6 năm 1128, Geoffrey được vua Henry phong tước hiệp sĩ ở Rouen, để chuẩn bị cho lễ cưới.